Quân đội đặt dưới sự chỉ huy, quản lý và điều hành của Bộ quốc phòng. Bộ trưởng Bộ quốc phòng là người chỉ huy trực tiếp của Quân đội. Bộ trưởng Bộ quốc phòng có thể là một tướng lĩnh trong quân đội như của Quân đội Nga hay Quân đội Trung Quốc, cũng có thể nhà một quan chức dân sự như của Quân đội Hoa Kỳ, Quân đội Thuỵ Điển, Quân đội Na Uy.

Theo môi trường tác chiến

Các nước có khái niệm khác nhau về quân đội và lực lượng vũ trang. Một số nước hiểu "quân đội" đồng nghĩa với "lực lượng vũ trang". Một số nước khác hiểu "quân đội" là thành phần trụ cột, nòng cốt của "lực lượng vũ trang". Do đó, thành phần các quân chủng có thể không giống nhau

Quân đội được tổ chức thành các quân chủng

• Lục quân
• Không quân (một số nước có quy mô không quân nhỏ thường ghép với Phòng không)
• Hải quân (một số nước không giáp biển chỉ tổ chức lực lượng Thủy quân độc lập hoặc ghép vào Lục quân)
• Phòng không (một số nước có quy mô phòng không nhỏ thường ghép với Không quân)
• Biên phòng
• Tuần duyên

Một số nước có quân chủng Thủy quân lục chiến (như Hoa Kỳ). Lực lượng Biên phòng, Tuần duyên cũng thuộc quân đội nhưng tùy theo quốc gia, có thể có hoặc có thể không đặt dưới sự quản lý, điều hành của Bộ Quốc phòng.

Một số nước lớn có vũ khí hạt nhân như Hoa Kỳ, Liên Xô (cũ), Nga, Trung Quốc có tổ chức quân chủng Tên lửa chiến lược hoặc Bộ tư lệnh không gian (Hoa Kỳ, Trung Quốc) bao gồm cả lực lượng Tên lửa chiến lược.

Theo ngành chức năng và đặc điểm phương tiện, vũ khí

Quân đội được chia thành các binh chủng chức năng, mỗi một chức năng thường do một đơn vị cấp bộ tư lệnh hoặc cấp cục phụ trách. Theo mô hình tổ chức trực tuyến tham mưu và trực tuyến chức năng, các bộ tư lệnh binh chủng có quyền chỉ huy trực tiếp đối với các đơn vị chiến đấu trực thuộc và quyền tham gia chỉ huy theo chức năng đối với các đơn vị chiến đấu không trực thuộc nhưng có sử dụng vũ khí, trang bị do ngành mình quản lý.

• Bộ binh: tổ chức quân đội duy nhất không có bộ tư lệnh chức năng riêng
• Pháo binh
• Tên lửa mặt đất (các nước có quy mô lục quân nhỏ thường ghép binh chủng này vào Pháo binh)
• Công binh
• Phòng không
• Cao xạ phòng không (ở những nước có quy mô phòng không cấp quân chủng)
• Tên lửa phòng không (ở những nước có quy mô phòng không cấp quân chủng)
• Không quân (ở những nước có lực lượng không quân vừa và nhỏ)
• Không quân tiêm kích (ở những nước có quy mô không quân lớn)
• Không quân ném bom (ở những nước có quy mô không quân lớn)
• Không quân chiến lược (ở những nước có quy mô không quân lớn)
• Không quân chiến thuật (ở những nước có quy mô không quân lớn)
• Tác chiến điện tử: một số nước (trong đó có Việt Nam) vẫn gọi là binh chủng radar
• Thông tin quân sự
• Xe tăng hoặc Tăng-thiết giáp
• Hoá học
• Thủy quân lục chiến (ở những nước có quy mô hải quân nhỏ)
• Đặc công (hay lực lượng đặc biệt, lực lượng tinh nhuệ... tuỳ theo cách gọi của mỗi nước)
• Đổ bộ đường không
• Vận tải quân sự
• Kị binh (đến thời hiện đại đã chuyển thành kị binh thiết giáp, kị binh không vận).
• Tên lửa chiến lược (ở những nước có lực lượng tên lửa chiến lược vừa và nhỏ).

Các binh chủng có thể được tổ chức trong biên chế của các quân chủng nhưng cũng có thể được tổ chức độc lập.

Theo sự phân cấp và quy mô tổ chức

Theo sự phân cấp, các đơn vị chủ lực của quân đội (chủ yếu là của lục quân) có thể được phân cấp thành

• Phương diện quân: tổ chức biên chế tương đương 7 đến 10 quân đoàn hoặc từ 3 đến 7 tập đoàn quân. Tư lệnh Phương diện quân thường có cấp hàm Nguyên soái hoặc Đại tướng.
• Tập đoàn quân: tổ chức biên chế tương đương khoảng 2-5 quân đoàn hoặc từ 7 đến trên 10 sư đoàn. Tư lệnh Tập đoàn quân thường có cấp hàm Đại tướng, Thượng tướng hoặc Trung tướng.
• Quân đoàn gồm các sư đoàn và có thể có lữ đoàn hoặc các trung đoàn độc lập được phối thuộc. Tư lệnh quân đoàn thường có cấp hàm Trung tướng hoặc Thiếu tướng. Ở Việt Nam tư lệnh quân đoàn có trần quân hàm là Thiếu tướng.
• Sư đoàn gồm các trung đoàn, lữ đoàn và có thể có các tiểu đoàn độc lập được phối thuộc. Chỉ huy Sư đoàn thường có cấp hàm Thiếu tướng hoặc Đại tá. (Trong Quân đội nhân dân Việt Nam thời kỳ Chiến tranh Việt Nam, chỉ huy sư đoàn có thể chỉ có cấp hàm Thượng tá). Hiện tại, Sư đoàn trưởng của Việt Nam là Đại tá.
• Lữ đoàn gồm các tiểu đoàn và các đại đội tăng cường, có quy mô lớn hơn trung đoàn và nhỏ hơn sư đoàn. Chỉ huy lữ đoàn thường có cấp hàm Thiếu tướng, Đại tá, Thượng tá và Trung tá. Với QĐND Việt Nam Lữ đoàn trưởng là một Đại tá.
• Trung đoàn gồm các tiểu đoàn và có thể có các đại đội độc lập phối thuộc. Chỉ huy trung đoàn thường có cấp hàm Thượng tá, Trung tá hoặc Thiếu tá. Với QĐND Việt Nam thì trung đoàn trưởng là Thượng tá nhưng có một số trung đoàn lớn hoặc ở vị tí quan trọng thì có thể lên Đại tá.
• Tiểu đoàn gồm các đại đội và có thể có các trung đội phối thuộc. Chỉ huy tiểu đoàn thường có cấp hàm Thiếu tá, Đại uý hoặc Thượng uý. Quân hàm cao nhất của Tiểu đoàn trưởng ở Việt Nam là Trung tá hoặc Thượng tá tùy đơn vị, thấp nhất là Đại úy.
• Đại đội gồm các trung đội và có thể có các tiểu đội phối thuộc. Chỉ huy đại đội thường có cấp hàm Đại uý, Thượng uý hoặc Trung uý.
• Trung đội gồm các tiểu đội. Chỉ huy trung đội thường có cấp hàm Trung uý, Thiếu uý hoặc Chuẩn uý.
• Tiểu đội là đơn vị tổ chức nhỏ nhất của quân đội cũng như các lực lượng vũ trang khác. Chỉ huy tiểu đội thường có cấp hàm Chuẩn uý hoặc cấp hàm thuộc bậc hạ sĩ quan.

Các tổ chức quân sự quy mô lớn như phương diện quân, tập đoàn quân, đại quân đoàn... thường chỉ có ở các nước lớn như Quân đội Liên Xô (cũ), Quân đội Nga, Quân đội Hoa Kỳ, Quân đội Trung Quốc, Quân đội Anh, Quân đội Pháp... Quân đội nhân dân Việt Nam cũng có các tổ chức đến cấp Quân đoàn, hiện có 4 quân đoàn và một đơn vị tương đương quân đoàn. 4 Quân đoàn của QĐND Việt Nam gồm:

• Binh đoàn Quyết Thắng - Quân đoàn 1
• Binh đoàn Hương Giang - Quân đoàn 2
• Binh đoàn Tây Nguyên - Quân đoàn 3
• Binh đoàn Cửu Long - Quân đoàn 4.

Theo địa bàn hoặc vùng biển, đại dương

Nhiều nước tổ chức lực lượng quân sự theo địa bàn song song với tổ chức biên chế các đơn vị chủ lực; đảm nhận hoạt động quân sự trên địa bàn được phân công trong lãnh thổ, lãnh hải và vùng trời của quốc gia:

Đại quân khu: Tổ chức lực lượng quân sự theo địa bàn của Trung Quốc, phạm vi hoạt động được đảm nhận từ 3 đến 6 tỉnh. Tư lệnh đại quân khu tại Trung Quốc thường có cấp hàm thượng tướng (trước năm 1976 thường có cấp hàm đến Nguyên soái).

Quân khu: Tổ chức lực lượng quân sự theo địa bàn của Liên Xô (cũ), Nga, Việt Nam, các nước phương Tây (kể cả Đông Âu)..., thường đảm nhận hoạt động quân sự trên địa bàn từ 5 đến trên 10 tỉnh. Tư lệnh quân khu thường có cấp hàm từ thiếu tướng đến thượng tướng (tùy theo Luật sĩ quan quân đội của từng nước). Hiện nay, QĐND Việt Nam chia các khu vực thành 8 Quân khu và Bộ tư lệnh Thủ Đô. Các quân khu được đánh số từ 1 đến 9 và từ Bắc Vào Nam. Tư lệnh quân khu của Việt Nam có trần quân hàm Thượng tướng. Các quân khu hiện có của Việt Nam gồm:

• Quân khu 1 Đông Bắc
• Quân khu 2 Tây Bắc
• Quân khu 3 Đồng bằng Sông Hồng
• Bộ tư lệnh Thủ Đô hay Quân khu Thủ Đô
• Quân khu 4 Bắc Trung bộ
• Quân khu 5 Nam Trung bộ và Tây Nguyên
• Quân khu 7 Đông Nam bộ
• Quân khu 9 Đồng bằng Sông Cửu Long.

Hạm đội đại dương: Là tổ chức quân sự lớn nhất của quân chủng Hải quân. Tổ chức hải quân có quy mô Hạm đội đại dương chỉ có ở các siêu cường quốc như Liên Xô (cũ), Nga (Hạm đội Thái Bình Dương, Hạm đội Bắc Băng Dương), Hoa Kỳ (các hạm đội 2 - Bắc Đại Tây Dương, 4 - Nam Đại Tây Dương, 6 - Địa Trung Hải, 5 - Ấn Độ Dương, 3 - Đông Thái Bình Dương, 7 - Tây Thái Bình Dương). Tư lệnh hạm đội đại dương thường có cấp bậc hàm đại đô đốc hoặc đô đốc.

Hạm đội biển: là tổ chức quân sự lớn thứ hai của Hải quân, có phạm vi hoạt động tren vùng biển lân cận của quốc gia. Tổ chức hạm đội biển cũng chỉ có ở những nước lớn như Liên Xô (cũ), Hoa Kỳ, Nga (các hạm đội Ban Tích, Biển Bắc, Biển Đen), Trung Quốc (các hạm đội Bắc Hải, Đông Hải và Nam Hải).v.v... Tư lệnh hạm đội biển thường có cấp hàm đô đốc hoặc phó đô đốc

Hạm đội tàu sân bay: tổ chức hải quân đặc trưng chỉ có ở những nước có tàu sân bay, có quy mô lớn nhất trong tổ chức hải quân hành động theo nhiệm vụ của các tất cả các nước trên thế giới hiện nay. Thành phần chính thường gồm 1 đến 2 tàu sân bay, từ 2 đến 3 tàu tuần dương, từ 5 đến trên 10 tàu khu trục, tàu hộ tống và chiến hạm các loại khác, từ 3 đến 5 tàu ngầm tấn công, các tàu chở dầu, tàu chở đạn, có thể có thêm từ 1 đến 2 tàu đổ bộ đa chức năng. Chỉ huy hạm đội tàu sân bay thường có cấp hàm đô đốc hoặc phó đô đốc.

Vùng hải quân: là tổ chức hải quân chủ yếu làm nhiệm vụ phòng thủ, tuần tiễu trên lãnh hải của quốc gia. Tổ chức này được áp dụng ở nhiều nước có lực lượng hải quân vừa và nhỏ. Hải quân Việt Nam hiện nay có 5 vùng hoạt động. Tư lệnh vùng hải quân thường có cấp hàm phó đô đốc, chuẩn đô đốc hặc đại tá hải quân. Vùng Hải Quân của Việt Nam được đánh số từ 1 đến 5 và từ Bắc vào Nam gồm:

• Vùng 1 Vịnh Bắc Bộ từ Quảng Ninh đến Hà Tĩnh
• Vùng 2 Từ Nam Bình Thuận đến Bạc Liêu
• Vùng 3 Từ Quảng Bình đến Bình Định bao gồn Quần đảo Hoàng Sa
• Vùng 4 Từ Quảng Ngãi đến Bắc Bình Thuận bao gồm Quần đảo Trường Sa
• Vùng 5 Từ Cà Mau đến Kiên Giang và Vịnh Thái Lan

Hải đoàn: Là tổ chức hải quân tương đương cấp sư đoàn hoặc trung đoàn, thường có từ 5 đến trên 10 tàu chiến và các tàu hậu cần, có thể có thêm một số tàu ngầm tấn công, được tổ chức cho một đến vài nhiệm vụ hoạt động quân sự trên biển. Chỉ huy hải đoàn thường có cấp hàm đại tá, thượng tá hoặc trung tá hải quân.

Hải đội: Là tổ chức hải quân tương đương với tiểu đoàn hoặc đại đội, biên chế có từ 3 đến 5 tàu, hoạt động trong phạm vi hẹp. Chỉ huy hải đội thường có cấp hàm trung tá, thiếu tá hoặc đại uý hải quân.